Apabila Perang Dunia II meletus di Eropah, ia dijangka bahawa Jepun, yang telah pun mengambil langkah agresif terhadap tanah besar China, akan cuba untuk menyerang Hindia. Sebagai tindak balas, kerajaan kolonial Belanda - yang sebelum ini terhad latihan ketenteraan bagi rakyat Indonesia asli - mula mengajar penduduk bagaimana untuk berurusan dengan serangan udara. Menyelaras persiapan, Belanda membentuk Pasukan Penyediaan Serbuan Udara. Sudirman, dihormati dalam masyarakat, telah diminta untuk membawa bab Cilacap. Selain daripada mengajar rakyat tempatan mengenai prosedur keselamatan untuk berurusan dengan serangan udara, Sudirman menubuhkan pascalihat seluruh kawasan. Beliau dan Belanda juga perlu lulus bahan drop pesawat untuk mensimulasikan bom jangka; ini bertujuan untuk meningkatkan masa tindak balas.[35]

Selepas Jepun mula menduduki Hindia pada awal tahun 1942, memenangi beberapa pertempuran melawan pasukan Belanda dan tentera terlatih Belanda, Tentera Diraja Hindia Timur Belanda (Koninklijk Nederlands Indisch Leger, atau KNIL), pada 9 Mac 1942 Gabenor Jeneral Tjarda van Starkenborgh Stachouwer dan ketua KNIL General ter Hein Poorten menyerah. Ini membawa perubahan drastik dalam tadbir urus Nusantara dan mengurangkan kualiti hidup bukan Jepun di Hindia, yang kebanyakannya mengalami pelanggaran hak asasi manusia di tangan Jepun.[36] Di Cilacap, sekolah Sudirman telah ditutup dan bertukar menjadi sebuah pos tentera;[37] ini adalah sebahagian daripada usaha yang meluas untuk menutup sekolah-sekolah swasta.[nota 7][38] Selepas Sudirman yakin Jepun untuk membuka semula sekolah itu, beliau dan guru yang lain terpaksa menggunakan bekalan substandard. Sudirman juga terlibat dalam beberapa pertubuhan sosial dan kemanusiaan dalam tempoh ini, termasuk sebagai pengerusi Kerjasama Rakyat Indonesia. Ini membawanya pengiktirafan yang lebih besar di kalangan rakyat Cilacap.[39]

Pada awal tahun 1944, selepas setahun sebagai wakil di Kabupaten majlis lembaga Jepun yang dikendalikan (Syu Sangikai),[40] Sudirman telah diminta untuk menyertai Pembela Tanah Air (PETA); kerajaan pendudukan Jepun telah menubuhkan PETA pada Oktober 1943 kepada membantu menangkis sebarang serangan Bersekutu,[41][42] dan telah menumpukan perhatian kepada usaha orang-orang muda, orang-orang yang telah "belum tercemar'" oleh pemerintahan Belanda.[43] Selepas beberapa hari, disebabkan sebahagiannya oleh kecederaan lutut beliau telah berlaku sebagai seorang pemuda, Sudirman bersetuju untuk memulakan latihan di Bogor. Disebabkan kedudukannya dalam masyarakat, Sudirman telah dijadikan komander (daidanco) dan dilatih dengan orang lain yang mempunyai pangkat itu. Dilatih oleh pegawai-pegawai Jepun dan tentera, kadet bersenjatakan peralatan Belanda dirampas. Selepas empat bulan latihan, Sudirman telah dimasukkan ke dalam menjaga batalion ditempatkan di Kroya, Banyumas, Jawa Tengah, tidak jauh dari Cilacap.[nota 8][41][42][44][45]

Masa Sudirman sebagai komander PETA diluluskan yang tidak diingini sehingga 21 April 1945, apabila tentera PETA di bawah pimpinan Kusaeri mula memberontak menentang Jepun. Diperintahkan untuk menghentikan pemberontakan, Sudirman bersetuju untuk berbuat demikian hanya jika pemberontak PETA tidak akan jatuh ke bumi, dan tempat-tempat perlindungan kepada mereka tidak dibakar; keadaan ini telah diterima oleh komander Jepun, dan Sudirman dan tenteranya mula mencari pemberontak. Walaupun lelaki Kusaeri mulanya ditembak komander, selepas Sudirman menggunakan pembesar suara untuk memberitahu mereka bahawa mereka tidak akan jatuh ke bumi, mereka berundur.[46] Kusaeri menyerah kalah pada 25 April.[nota 9] ini mendapat sokongan untuk Sudirman dalam pasukan pendudukan, walaupun beberapa pegawai Jepun berkedudukan tinggi bimbang dengan sokongan Sudirman menuntut kemerdekaan Indonesia. Sudirman dan orang-orangnya telah lama dihantar ke sebuah kem di Bogor, kononnya untuk latihan; Walau bagaimanapun, mereka telah ditugaskan dengan kerja keras sebagai satu cara untuk menghalang kebangkitan lagi, dan khabar angin disebarkan bahawa pegawai PETA akan dibunuh.[47]